跳到主要内容

LoRA变体全解

09 章讲的是 LoRA 的原始版本。这套思路火了之后,紧接着出现了一堆改进——LoRA+、DoRA、rsLoRA、PiSSA、AdaLoRA、VeRA……名字看得人晕。这一章我们把这些变种梳理一遍,讲清楚每种改的是什么、什么时候用、和标准 LoRA 差多少。

1. 先回顾原始 LoRA​

原始 LoRA 做的事:

  • 冻结原权重 W;
  • 加两个小矩阵 A(r × d)和 B(d × r);
  • 前向变成 y = Wx + (α/r) · BAx;
  • A 用随机高斯初始化,B 用 0 初始化。

LoRA 的三个"痛点",是后来变种们要改的:

痛点 1:A 和 B 的梯度尺度不平衡。前向的时候 A 先乘 x、再乘 B,所以 A 的梯度会小很多。用同一个 LR 训 A 和 B,两者更新速度不匹配。

痛点 2:LoRA 只调"权重方向"。权重可以分解为"方向 + 模长",LoRA 的低秩加项同时改了两者。有研究发现"只改方向、不改模长"效果更好(DoRA 的动机)。

痛点 3:r 大的时候不稳定。α/r 这个缩放随 r 变化,导致大 r 时训练动力学变差。rsLoRA 改了这个。

后面每个变种,都是在攻其中一两个痛点。

2. LoRA+:让 B 学快一点​

LoRA+(2024)是一个"零成本"的改进:A 和 B 用不同的学习率。

具体做法:给 B 一个更大的学习率(比如 A 用 1e-4,B 用 1.6e-3——差 16 倍)。为什么?作者用了一些理论推导(gradient scale 分析),发现 A 和 B 的"梯度信号强度"差异很大,用同样 LR 训导致收敛慢。

效果:训练更快、最终效果稍好(1-2 个点)。

代价:几乎零——只是多一个超参 lora_plus_ratio(默认 16)。

实现:TRL、LLaMA-Factory 都有内建支持,一个开关的事。这个基本可以默认打开——收益免费。

3. DoRA:分解权重的方向和模长​

DoRA(Weight-Decomposed LoRA) 2024 提出。想法很有意思。

任何权重矩阵 W 都能分解为"方向 + 模长":

W=m⋅V∥V∥cW = m \cdot \frac{V}{\|V\|_c}
  • V 是"方向"(一个矩阵,按列归一化);
  • m 是"模长"(一个向量,每列一个数)。

原始 LoRA 是在 W 上加 BA——同时改动了方向和模长。DoRA 的做法:模长 m 单独训练(可训练向量),方向部分用 LoRA 加项:

W′=m⋅V+BA∥V+BA∥cW' = m \cdot \frac{V + BA}{\|V + BA\|_c}

这样"方向变化"和"模长变化"是解耦的,模型能更精细地控制这两个自由度。

效果:比 LoRA 高 1-3 个点。训练稍慢(多几个操作)。

代价:参数量多一点点(每层多一个 d 维的 m 向量),但可以忽略。

推荐使用场景:数据量少、微调难度大的任务——DoRA 相比 LoRA 的优势更明显。

4. rsLoRA:让大 r 也稳定​

标准 LoRA 里的缩放系数是 α/r。但研究发现这个缩放随 r 增大是次优的——当 r 很大时(比如 256、512),LoRA 训练会变不稳定。

rsLoRA(Rank-Stabilized LoRA) 改成了 α/√r。

一个直观理解:BA 的输出方差正比于 r(因为你在做 r 个通道的加和),要保持输出稳定,缩放系数应该正比于 1/√r,而不是 1/r。

效果:小 r(r ≤ 32)时和 LoRA 差不多;大 r 时 rsLoRA 明显更好。

推荐使用场景:只在 r 大的时候用。如果你的 r 是 16、32,用不用都行。r=128、256、512 的话,rsLoRA 收益明显。

5. PiSSA:更好的初始化​

标准 LoRA 用"A 随机、B=0"初始化。这样开始时 BA=0,训练从 0 开始,比较慢。

PiSSA(Principal Singular Values and Singular Vectors Adaptation):用 W 的 SVD 分解来初始化 A、B。

具体:把 W 做奇异值分解 W = U Σ V^T,取前 r 个最大奇异值:

  • A=Σr⋅VrTA = \sqrt{\Sigma_r} \cdot V_r^T
  • B=Ur⋅ΣrB = U_r \cdot \sqrt{\Sigma_r}
  • 修改后的原权重 W′=W−BAW' = W - BA

也就是"把 W 最主要的 r 个成分单独抽出来当 LoRA,剩下的作为冻结部分"。

好处:

  • LoRA 从"训练最重要的 r 个方向"开始,一开始就在做有意义的更新;
  • 收敛更快、最终效果更好;
  • 对小 r 尤其显著。

代价:需要在训练前做一次 SVD——比朴素初始化慢一些,一次性开销。

推荐使用场景:数据量少、想尽快收敛、对训练成本敏感的场景。PiSSA 相当于给 LoRA 一个"热启动"。

6. AdaLoRA:动态分配 r​

AdaLoRA 的想法:不同层需要的 rank 不一样。

标准 LoRA 里每层都用同样 r=16。但实际上:

  • 底层(靠近输入)参数变化通常小——需要的 r 小;
  • 中层可能需要大 r;
  • 上层(靠近输出)也许要中等 r。

AdaLoRA 在训练过程中动态调整每层的 r——用重要性分数(基于奇异值)判断哪些方向重要,把 rank 预算集中到重要的地方。

效果:同样总参数量下比 LoRA 好 1-2 个点。

代价:实现复杂,训练慢一些,超参多。

推荐使用场景:追极致效果时可以试。工程实用性上,不如 DoRA/PiSSA 直接。

7. VeRA:极小参数量的 LoRA​

VeRA(Vector-based Random matrix Adaptation):A 和 B 都是共享的、冻结的、随机初始化的矩阵,只训练两个 d 维缩放向量。

看起来激进——你冻结了 LoRA 的两个矩阵,那不就学不到东西了吗?作者的观察是:随机矩阵已经能覆盖足够的表达空间,只需要每层用不同的"缩放"(两个 d 维向量)就能表达任务差异。

效果:参数量比 LoRA 少 10-100 倍,效果掉一点点(1-3 个点)。

推荐使用场景:存储极其敏感的场景——你要为几百个客户各存一个 LoRA。VeRA 每个客户只要几百 KB,LoRA 要几十 MB。

局限:训练不比 LoRA 快多少(还是要过参数),只是存储省。

8. LoRA-FA、LoRA-XS 等其他简化​

LoRA-FA:只训 B,冻结 A。参数减半,效果基本不变。极简版 LoRA。

LoRA-XS:在 LoRA 的 A、B 之间加一个更小的方阵,进一步压缩。

Delta-LoRA:拿 LoRA 训练的更新方向"周期性地灌回"主权重,让主权重也慢慢更新。

MoRA:用方阵形式替代低秩形式——同样参数量,但表达空间不同。

这些都是小改动。不是主流选择,属于研究性质。

9. 变种们的效果对比​

给一个粗略的对比(数字不是精确的,各任务各不同):

方法相对 LoRA 的效果参数量训练速度实现复杂度
LoRA基线100%100%简单
LoRA++1-2%100%100%简单(超参)
DoRA+2-4%105%90%中等
rsLoRA大 r 时 +2-5%100%100%简单(超参)
PiSSA+1-3%100%100% + 初始化开销中等
AdaLoRA+1-3%100%80%复杂
VeRA-1-3%1-10%100%简单
LoRA-FA≈ LoRA50%105%简单

一个务实的选择:

  • 默认起点:LoRA + LoRA+(几乎零成本的免费提升);
  • 想更好一点:LoRA + DoRA + LoRA+(都开);
  • 数据少 / 想快收敛:加上 PiSSA 初始化;
  • r 特别大:加上 rsLoRA;
  • 存储敏感:VeRA。

10. 应用到哪些层​

一个和"变种"无关但同样重要的选择:target_modules 应该包含哪些。

只调 attention 的 QV:原始 LoRA 论文的做法。参数最少,效果一般。

调 attention 全部(Q, K, V, O):常见做法,效果比只 QV 好。

加上 FFN 的三个矩阵(gate, up, down):LLaMA 系列微调的主流选择。表达能力最强,参数量约 2 倍于只 attention。

加上 embedding / lm_head:一般不加。因为这两个是 V × d 的巨型矩阵,加了参数量翻倍,效果提升不明显。除非要扩词表。

推荐配置:

target_modules:
- q_proj
- k_proj
- v_proj
- o_proj
- gate_proj
- up_proj
- down_proj
r: 16
lora_alpha: 32

这是 LLaMA-Factory 的默认,覆盖 attention + FFN,是最平衡的选择。

11. r、alpha、dropout 的调节​

r 的选择:

  • r=8:数据量小(< 5000)、任务简单——避免过拟合;
  • r=16:通用起点,大部分场景够;
  • r=32-64:数据量大、任务复杂;
  • r=128-256:接近全参数微调时用(+ rsLoRA);
  • r > 256:一般没意义。

alpha 的选择:

  • 通常 α = 2r(比如 r=16 → α=32);
  • 一些论文用 α = r(也可以);
  • α > 4r:更激进的更新,容易训不稳。

LoRA dropout:

  • 0.05 是常见默认;
  • 数据少时可以调到 0.1 防过拟合;
  • 数据充足时可以设 0 关掉。

12. 一些坑​

target_modules 用错名字。不同模型的层名字不一样——LLaMA 是 q_proj、gate_proj;Qwen 老版本可能是 c_attn、c_proj。用错了就没加进去,训练看着在跑但其实没在动。打印 model 结构确认一遍。

忘记 merge_and_unload。训完 LoRA 是分开存的(一个 base + 一个 LoRA adapter)。推理时框架可能有额外开销。如果部署到 vLLM 之类的框架,最好合并(merge_and_unload)到一个完整模型,加载和推理都更快。

QLoRA + DoRA 兼容性。DoRA 用到 norm(V+BA),这个操作在 4-bit 量化下可能会有 numerical 问题。一些框架里 QLoRA + DoRA 效果不稳定。稳妥起见,QLoRA 用标准 LoRA,别加 DoRA。

不同变种一起用有冲突。DoRA 和 PiSSA 一起用未必比单个好。变种们一般不叠加——挑最合适的那一个。

看似 LoRA 训了但没学到东西。表现是 loss 平缓下降但推理输出没变化。检查:LoRA 是否真的注入了?开始训之前 print 一下模型是否有 lora_A、lora_B 参数、这些参数的 requires_grad 是否为 True。这是新手最常见的静默失败。

13. 一句话总结​

LoRA 变种们在同一个思路上做各种小改进:

  • LoRA+:不同 LR,几乎零成本;
  • DoRA:解耦方向和模长,稳定提升;
  • rsLoRA:大 r 时更稳;
  • PiSSA:SVD 初始化,收敛更快;
  • AdaLoRA / VeRA / LoRA-FA:各种进一步压缩或调整。

日常配置:LoRA + LoRA+ + DoRA,覆盖 attention + FFN,r=16,α=32。这套配置在开源社区里已经是"新默认",稳定好用。

下一章我们看看 LoRA 之外的其他 PEFT 方法——Prompt Tuning、Prefix Tuning、Adapter、IA3。虽然主流是 LoRA,但了解一下另外几条思路对全局理解有帮助。